#Adversarial Attack

4 篇

Believed but Not Said: Measuring Hidden Belief Collapse in Multi-Agent LLM Discussions

多智能体LLM讨论中隐性信念崩塌的测量：相信却不说

🧭 多智能体讨论中的对抗性错误传播与隐性信念崩塌

University of Illinois Chicago

少数对抗智能体反复陈述看似合理的假答案，即可让多数良性智能体私下采信但公开不表态，揭示隐性信念崩塌

📌 工作参考价值（4 点）

多 Agent 协同的搜索/推荐/审核系统中，公开发言不一定反映各 Agent 真实判断；建议在关键决策节点增加独立于共享上下文的私密 probe（如隐藏答案抽取、置信度打分），持续监测隐性漂移，而非只依赖公开投票或共识。
少量对抗性或污染信息（如异常检索结果、有偏商品知识、腐败工具输出）可能在多 Agent 讨论中快速传播；可在架构中加入来源可信度加权、异常 Agent 检测与隔离、关键事实外部校验机制。
对事实性要求高的业务场景（商品卖点、价格政策、售后规则等）不宜完全依赖多 Agent 公开辩论作为唯一护栏；可增加单 Agent 私密事实核查或强 RAG 约束，减少隐性错误被内化。
评估多 Agent 决策质量时需区分公开立场与私有信念，因为公开支持率可能严重低估真实影响——本实验中三对抗者场景下私有假答案率 51.6% vs 公开支持率仅 19.7%。

MultiAgent | 2026-10-15 | cs.CL | score 6/10

CiteShade: Citation Laundering in Multi-Source Retrieval-Augmented Generation and Its Counterfactual Defense

CiteShade：多源检索增强生成中的引用洗钱攻击及其反事实防御

🧭 RAG 引用安全与防御

City University of Hong Kong

提出首个 RAG 引用洗钱攻击，展示如何让模型把错误答案归因于可信源，并给出反事实防御。

📌 工作参考价值（4 点）

在构建基于 RAG 的搜索/问答/推荐解释系统时，不能默认引用真实可靠：攻击者可通过单一恶意源污染多源上下文，需引入引用链路验证机制，单纯检查答案困惑度或引用支持度不够（本文已证明可被绕过）。
借鉴反事实防御思路：在线生成后执行“源删除”或干预测试，观察答案是否改变，以检测哪个来源真正驱动了答案，可作为校验模块部署在生成链路末端。
漏洞与模型的引用倾向相关而非模型规模，选型时应实测模型在引用指令下的“易受骗程度”，优先选择引用倾向低或约束引用格式的模型，而不是只看参数规模。
在多源外部数据接入（商品描述、用户评论、广告文案）时，建议对来源可信度分级，并对引用来源做隔离或加权，防止低可信来源劫持高可信来源的引用。

RAG | 2026-09-14 | cs.CL | score 7/10

RAG Citation Laundering Adversarial Attack LLM Security Counterfactual Defense

Convergent Detour Hijacking: Task-Preserving Resource Amplification in Skill-Based LLM Agents

收敛式绕路劫持：技能型 LLM Agent 中保持任务完成的资源放大攻击

🧭 LLM Agent 技能选择与规划安全

Shenzhen University · The Chinese University of Hong Kong · The Chinese University of Hong Kong, Shenzhen

提出 CDH 攻击，利用技能描述选择与指令体规划两阶段耦合，在任务完成率不变下放大 token 与执行时间消耗

📌 工作参考价值（4 点）

在 Agent 技能平台中，不要只依赖自然语言描述做相关性选择：可增加成本/资源元数据（如预估 token、最大耗时）并在选择阶段就进行成本约束，避免“描述相似但执行昂贵”的技能被选中。
监控 Agent 轨迹的 token 消耗和时间异常，尤其是任务完成但资源消耗显著高于基线的 run；可设置基于任务类型的分位数告警，检测 CDH 这类“完成但绕路”的放大攻击。
对第三方技能做隔离和资源限制：即使技能指令本身无恶意，也可能通过伪造依赖关系招募多余良性工具；可在规划后对工具链做依赖校验，剔除与目标无关的中间步骤。
借鉴攻击思路做成本压力测试：在评估自研 Agent 或推荐 Agent 时，故意注入“看似相关但增加绕路”的技能，检验系统是否有足够的成本鲁棒性和轨迹完整性保护。

Agent | 2026-08-12 | cs.AI | score 7/10

LLM Agent Skill Selection Prompt Injection Resource Amplification Adversarial Attack Cost Safety

Attacking and Defending Multi-Agent Collaborative Filtering Systems Through Connectivity

多智体协同过滤中连接性对攻击与防御的影响研究

🧭 多智体协同过滤 · 连接性安全评估 ★ 深度解读

University of Oxford · Amazon

系统揭示候选数与目录集中度如何不对称地调制攻击与防御效能，发现语义攻击更持久，静态图度量可预估风险

📌 工作参考价值（5 点）

系统设计时监控连接度两极分化：每轮推荐候选数 k 和物品目录重叠度 ρ 对攻击传播的影响呈角色不对称性。增加 k 会加速隐私提取的早期泄漏，但几乎不推高稳态泄露率；增大 ρ 则推高物品侧污染，对用户侧影响非单调。在调整召回策略或扩量时，建议分用户/物品侧分别评估安全指标，避免单侧失守。
红队测试优先采用语义攻击：记忆更新步骤（LLM 重写摘要）会自然修正词法扰动，但完整保留语义注入。因此像 DrunkAgent（注入语义概念到物品记忆）比 RecTextAttack（词法扰动）存活率更高。内部安全测试应重点检验语义注入的耐久性，而非仅防御提示词级别的扰动。
防御部署需考虑角色隔离：G-Safeguard 等 GNN 检测防御在用户侧有效，但在物品侧稀疏时失效 (ρ 小时毫无安全增益)。建议对不同角色训练独立的异常检测模型，或为物品 Agent 设计无监督 (如 BlindGuard) 但针对度数不对称性优化的编码器。
用静态图指标替代昂贵模拟做初步风险评估：论文尝试用基于 SIS 模型的恢复感知一阶连接度预测器 (R_U, R_I) 来排序不同配置的风险，虽相关有限但节省资源。在工程上可先计算类似 \(1-(1-α_I)^k / ((1-α_I)·k·γ+r)\) 的静态分数，快速筛查高危配置后再进行小规模攻击仿真。
选用对齐良好的 LLM 并保留反思步骤：较新模型 (Claude 4.5) 因丰富世界知识和安全对齐，在良性交互中能自我纠正记忆污染，降低攻击持久性。建议在 Agent CF 中保留记忆更新后的反思/摘要步骤，并优先使用最新对齐 LLM 作为 Agent 大脑。

RecSys | 2026-08-04 | cs.IR | score 8/10

Multi-Agent Collaborative Filtering Adversarial Attack Connectivity Defense LLM